模式识别：BP神经网络算法

1、BP神经网络分类器

1.1 BP算法基本原理

神经网络结构大概如下图1-1：

                                                                                                  图1-1

包括输入层，隐层和输出层。包含一层隐层的神经网络称为浅层神经网络，即SNN。包含多层隐层的神经网络称为深度神经网络，即DNN。理论上说单隐层神经网络可以逼近任何连续函数（只要隐层的神经元数足够多）。但从数学表达能力上，多隐层的神经网络工程效果更好。但过多的隐层和神经元节点，会带来过拟合问题。不要试图通过降低神经网络参数量来减缓过拟合，用正则化或者dropout。

1.2 神经网络之传递函数（激活函数）

对输入进行非线性变换，常用的传递函数，也是本实验所使用的，即S函数（sigmoid）: 

其作用在每个隐层与输出层。正如大脑中的神经网络，并非所有的外界信号都能引起我们强烈的反应。S函数的作用往往会对信号进行相应的筛选，放有用的信号通过神经元，将无用的信号压缩为零。对于通过的信号，控制其以多大的程度通过 。

1.3 算法公式推导

神经网络之BP算法：正向传播求损失，反向传播回传误差。根据误差信号修正每层的权重 与偏置

以3层感知器为例，来进行BP算法推导。其结构如图1-2：

                                                                                                      图1-2

计算某一层的第j个单元，i和k分别为其前层和后层的单元，代表本层输出,为输入。

的输入：

的输出：

输出层误差：

误差展开至隐层 ：

展开至输入层 ：

神经网络之SGD（随机梯度下降）：

误差E有了，如何调整权重让误差不断减小？由上述式子可知E是权重w的函数，我们需要找到使得函数值最小的w.

为了使连接权值沿着E 的梯度变化方向得以改善，网络逐